home *** CD-ROM | disk | FTP | other *** search
/ Halting the Hacker - A P…uide to Computer Security / Halting the Hacker - A Practical Guide to Computer Security.iso / rfc / rfc744.txt < prev    next >
Text File  |  1997-04-01  |  11KB  |  354 lines
  1.  
  2. NWG/RFC  744                                   JS5 8-Jan-78 21:59  42857
  3. Network Working Group                                     Joanne Sattley
  4. Request for Comments: 744                                        JZS@CCA
  5. NIC: 42857                                                8 January 1978
  6.  
  7.  
  8.              MARS - A Message Archiving & Retrieval Service
  9.  
  10.  
  11. I.    Introduction
  12.       ------------
  13.  
  14. This document describes a Message Archiving  and  Retrieval  Service
  15. (MARS) which has been developed at Computer Corporation of America; it
  16. utilizes the Datacomputer, a network database utility developed by CCA
  17. for  ARPA.   [Research  and development of a prototype MARS system was
  18. supported by the Defense Advanced  Research  Projects  Agency  of  the
  19. Department  of  Defense,  under the ARPA Very Large Databases program,
  20. and was monitored by the Office of Naval Research under  Contract  No.
  21. N00014-76-C-0991.]
  22.  
  23. The  Service  is  available,  primarily,  to  groups  for  storage  of
  24. teleconferencing transcripts.  Is is also available, upon request,  to
  25. individual ARPANET correspondents.
  26.  
  27. There  are  both  'public'  and  'private'  messages  in the database.
  28. Public messages may be retrieved by  anyone.   The  public  collection
  29. includes  the  messages of the Header-People [@ MIT-MC] group, and the
  30. MsgGroup [@ USC-ISI] proceedings.
  31.  
  32. Private messages may be retrieved only by the users who have  archived
  33. them,  or anyone whose name appears on the list of message recipients.
  34.  
  35. Messages archived using MARS are heavily indexed and can be  retrieved
  36. in  a  variety  of  ways,  including  Boolean  combinations of message
  37. recipients, message composition date, any text words  in  the  message
  38. subject,  and text words in the message body.  The MARS facilities are
  39. integrated  very   naturally   into   the   existing   collection   of
  40. message-handling tools:
  41.  
  42.    . A message is designated for archiving by sending it to
  43.      MARS-Filer @ CCA using one of the usual message-mailing tools such
  44.      as SNDMSG.
  45.  
  46.    . A message is designated for retrieval by sending a request as
  47.      ordinary mail to MARS-Retriever @ CCA.
  48.  
  49. The  Filer  program  checks for mail every hour; the Retriever program
  50. checks every quarter-hour.  The periodicity can  be  altered  to  meet
  51. demand  but  the intent is for MARS to operate as a background job and
  52. only during extremely low-activity periods.
  53.  
  54. The next section (II) describes  the  indexing  operation  in  greater
  55. detail,  and  how  to archive and retrieve messages.  The last section
  56. (III) is an extractable user card.
  57.  
  58.  
  59.                                                                 [Page 1]
  60.  
  61. NWG/RFC  744                                   JS5 8-Jan-78 21:59  42857
  62. MARS - A Message Archiving & Retrieval Service
  63.  
  64.  
  65.  
  66. II.       Using MARS
  67.           ----------
  68.  
  69. A.  Message Indexing
  70.     ----------------
  71.  
  72. For each message, a vector of parsed tokens is  created.   The  parsed
  73. tokens are collected by the message-field in which they occurred -- to
  74. be  used  as  "indexes",  i.e.,  values  of  inverted  fields,  by the
  75. Datacomputer.
  76.  
  77. The Filer "indexes", essentially  without  analysis,  except  for  the
  78. following:
  79.  
  80.    --  Each distinguishable section of the message is indexed
  81.        separately; each header line is a separate inversion domain, as
  82.        is the body of the message.
  83.  
  84.    --  The header lines which contain ARPANET addresses are analyzed in
  85.        order to index separately on mailbox and host.
  86.  
  87.    --  The date-field is parsed and converted to the standard Tenex
  88.        internal date/time format, which is better adapted for
  89.        less-than/greater-than comparisons, as in retrievals which
  90.        specify a date range.
  91.  
  92.    --  One-character words in both the subject-field and the
  93.        message-text field arbitrarily discarded.
  94.  
  95.    --  Two-character words in the message-text field are arbitrarily
  96.        discarded.
  97.  
  98.    --  Hyphenated phrases, i.e., words bound together by hyphens, are
  99.        retained intact.
  100.  
  101.    --  All message formats which conform to RFC  733 standards are
  102.        accommodated.  The minimum requirements are:  a date-field, a
  103.        from-field, and a blank line between the message-header and
  104.        message-body.
  105.  
  106.  
  107.  
  108.  
  109.  
  110.  
  111.  
  112.  
  113.  
  114.  
  115.  
  116.  
  117.  
  118.                                                                 [Page 2]
  119.  
  120. NWG/RFC  744                                   JS5 8-Jan-78 21:59  42857
  121. MARS - A Message Archiving & Retrieval Service
  122.  
  123.  
  124.  
  125. B.  To Archive Messages
  126.     -------------------
  127.  
  128. There  are  three modes of filing currently supported by MARS, to wit:
  129.  
  130.    --  single-message mode, wherein the MARS-Filer mailbox appears in
  131.        the message as an addressee;
  132.  
  133.    --  forwarded-message mode, wherein the MARS-Filer mailbox appears as
  134.        the only primary recipient;
  135.  
  136.    and
  137.  
  138.    --  batch mode, wherein the mailing envelope is addressed to
  139.        MARS-Filer and the subject-field contains the keyword "batch".
  140.  
  141. Until the ARPANET standard for the format of messages  is  implemented
  142. universally, the variability amongst formats is still greater than the
  143. Filer can handle as it stands.  Nonetheless, a user  can  successfully
  144. file  any  message in a "foreign" format by forwarding it to the Filer
  145. under the aegis of a mail-handling program  which  does  produce  good
  146. formats.   Admittedly, the correct header-field indexing, as described
  147. above, will not be done on the enclosed message;  but  at  least,  the
  148. words  in  its unreadable header fields will appear as "text" words in
  149. the indexing.
  150.  
  151. In the case of forwarded-message-mode filing, all interesting indexing
  152. information is extracted from the  message-header  of  the  forwarding
  153. envelope  prior  to discarding it.  The name of the archiver, the date
  154. and time the message was forwarded, and the  subject-line  information
  155. are   recorded.   The  remainder  is  handled  as  though  it  were  a
  156. non-forwarded message which had been CC'd to the Filer.
  157.  
  158. A forwarded message may be 'annotated' by adding  text  (e.g.,  notes,
  159. comments, keywords) in the forwarding envelope.  Annotations are filed
  160. and retrieved as part of the archived message.
  161.  
  162. In  the  case  of  batch-mode filing, only the archiver's name and the
  163. date and time s/he sent the package are  extracted  from  the  mailing
  164. envelope.   The  message-body  portion  is then treated as a series of
  165. individual messages.
  166.  
  167.  
  168.  
  169.  
  170.  
  171.  
  172.  
  173.  
  174.  
  175.  
  176.  
  177.                                                                 [Page 3]
  178.  
  179. NWG/RFC  744                                   JS5 8-Jan-78 21:59  42857
  180. MARS - A Message Archiving & Retrieval Service
  181.  
  182.  
  183.  
  184. C.  To Retrieve Messages
  185.     --------------------
  186.  
  187. Retrievals are initiated by sending a Retrieval Request  (which  is  a
  188. specially   formatted  message)  to  "MARS-Retriever@CCA".   Retrieved
  189. messages are mailed back, one at a time, and will appear as  new  mail
  190. in the requester's mailbox.
  191.  
  192. Retrieval  Request  messages  can be composed using any SNDMSG-type of
  193. program, as follows:
  194.  
  195.    . The recipient of the RR message must be MARS-Retriever @ CCA
  196.  
  197.    . Other message header fields are ignored for now
  198.  
  199.    . The message body portion of the RR is used to compose Datalanguage
  200.      for performing the retrieval.  Its format resembles a message
  201.      header, or selected portions thereof.
  202.  
  203. The following list defines which field names are recognized, and  some
  204. notes  on  their  interpretation.   The  scanning  of  each  field  is
  205. terminated by a carriage-return.
  206.  
  207.    DATE:     The format of the date field is day-month-year.  Use of
  208.              hyphens is optional.  This field will cause  only those
  209.              messages composed on the specified date to be retrieved.
  210.  
  211.    AFTER:    Use of this field will  retrieve  messages  composed after
  212.              the specified date.
  213.  
  214.    SINCE:    This field is interpreted like the AFTER: field.
  215.  
  216.    BEFORE:   Use of this field will  retrieve  messages  composed before
  217.              the specified date.
  218.  
  219.    UNTIL:    This field is interpreted like the BEFORE: field.
  220.  
  221.    FROM:     This field is expected to contain  a  valid  mailbox name.
  222.              The host specification is optional.  If more than one name
  223.              is specified, ORing of  the  names  is implicit.
  224.              Retrieval  based upon host specification alone has not been
  225.              implemented.
  226.  
  227.    TO:       This field is expected to contain one or more  valid
  228.              mailbox  names.  The host specification is optional. Spaces
  229.              and commas between the names imply AND.
  230.  
  231.  
  232.  
  233.  
  234.  
  235.  
  236.                                                                 [Page 4]
  237.  
  238. NWG/RFC  744                                   JS5 8-Jan-78 21:59  42857
  239. MARS - A Message Archiving & Retrieval Service
  240.  
  241.  
  242.  
  243.    SUBJECT:  Use of this field will retrieve all  messages  whose
  244.              indexed  subject-field  contents match the specified
  245.              word(s).  Spaces and commas imply AND.  The  use  of OR
  246.              must be explicit.
  247.  
  248.    TEXT:     Use of this field will retrieve all  messages  whose
  249.              indexed  message-body  contents  match the specified
  250.              word(s).  Spaces and commas imply AND.  The  use  of OR
  251.              must be explicit.
  252.  
  253. An  interactive  TENEX-based  program  for composing RRs is available;
  254. the filename is "RR.SAV".  A copy of this program  is  stored  on  the
  255. Datacomputer, available via DFTP under node COMMON>MARS.
  256.  
  257. There  is  also  a  copy  of the program in CCA's directory at SRI-KA;
  258. another in the CCA-ACCAT directory at ISIA.
  259.  
  260.  
  261.  
  262.  
  263.  
  264.  
  265.  
  266.  
  267.  
  268.  
  269.  
  270.  
  271.  
  272.  
  273.  
  274.  
  275.  
  276.  
  277.  
  278.  
  279.  
  280.  
  281.  
  282.  
  283.  
  284.  
  285.  
  286.  
  287.  
  288.  
  289.  
  290.  
  291.  
  292.  
  293.  
  294.  
  295.                                                                 [Page 5]
  296.  
  297. NWG/RFC  744                                   JS5 8-Jan-78 21:59  42857
  298. MARS - A Message Archiving & Retrieval Service
  299.  
  300.  
  301.  
  302. III.      MARS User Card
  303.           --------------
  304.  
  305. ::  Archiving
  306.     ---------
  307.  
  308. Individual Messages
  309.  
  310.    . Include MARS-Filer@CCA on message distribution list
  311.  
  312.    . Forward message to MARS-Filer@CCA [Annotation is optional.]
  313.  
  314. Batches of Messages
  315.  
  316.    . Incorporate the mail file as the message-body of a single
  317.      message sent to MARS-Filer@CCA with the clue "BATCH" in its
  318.      subject-field.
  319.  
  320. ::  Retrieving
  321.     ----------
  322.  
  323. Using RR Program
  324.  
  325.    . RR is a TENEX-based interactive program designed to prepare
  326.      Retrieval Request messages and to mail them to MARS-Retriever@CCA.
  327.  
  328. Using SNDMSG-Type Program
  329.  
  330.    . Send a message to MARS-Retriever@CCA, specifying the retrieval
  331.      criteria in the body of the message.
  332.  
  333. Sample Retrieval Criteria
  334.  
  335. SUBJECT:RFC 733 or RFC733     ; OR must be explicit
  336.  
  337. TEXT:MARS Project,goals       ; spaces & commas imply AND
  338.  
  339. DATE: 14 November 1977
  340. SINCE: 1 Nov 77               ; same as AFTER: 1 Nov 77
  341. AFTER: 1  Dec 1977
  342. UNTIL: 15 January 1978        ; same as BEFORE: 15 January 1978
  343. BEFORE: Aug 7 76
  344.  
  345. FROM:  JZS@CCA         ; host specification is optional
  346. FROM:  Hacker,JZS      ; comma implies OR (in FROM: field only)
  347.  
  348. TO:  CCA@SRI-KA     ; host specification is optional
  349. TO:  SDD-0:,SDD-1:  ; spaces and commas imply AND
  350.  
  351.  
  352.  
  353.  
  354.                                                                 [Page 6]